許多團隊在 AWS 上累積資料時，常見的起手式是：先把 JSON 格式的資料寫到 S3。這樣寫入在一開始很方便，但當你開始想要： 統一 schema（欄位型別...
原本一筆資料會是一個 S3 Object ，像是下面這樣。 { ad_id: "ad_31", impression_id: &qu...
在處理高流量的事件驅動架構時，如何有效地寫入資料到 DynamoDB 和 S3 是一個常見的挑戰。這幾天將分享如何通過批次處理優化，大幅降低 AWS 成本並提升...
使用 Athena 撈取數據 把資料收到 S3 資料，就可以到 Athena 建 table 撈取資料，使用 year 、 month 和 day 當 PART...
加入 S3 延伸廣告點擊系統架構 為了在後續做分析時可以節省更多成本，在原本的架構上加入 S3 存放資料，不只省錢，也可以當作備份。CloudFormation...
在昨天的文章，只用 DynamoDB 作為儲存數據，如果資料量很大，且需要定時拉資料做分析，就不適合直接使用 DynamoDB 的資料，因為資料量越大，從 Dy...
前言 在前幾天，我們已經完成了 EC2 主機部署 以及 RDS 資料庫串接， 一個完整的後端雲端架構也漸漸成形。 但如果今天你的應用要讓使用者能上傳圖片、影片、...
前言 前一回探討了限制的方式，也驗證了可行性。 這邊接著修改原始碼。 原始碼 原本在 list-videos 的 API 中，其實已經有爬這個使用者的所有影片...
前言 在眾多雲端服務中，鮮少會一開始註冊會員後，就要求玩家課金，畢竟你還不知道這個網站或線上服務，能夠給你帶來什麼功能。 適度地提供免費額度，讓會員試用是常態了...
前言 配合本系列文章的寫作，陸續將手機裡面的影片反反覆覆上傳到 S3 又刪除，又搭配了一些 AWS 的服務一起使用，可想而知的是下個月帳單的費用會多出一些先前沒...
一、前言 在長期運行的會員網站中，檔案不斷被上傳與更新，如果沒有規劃檔案清理與版本管理，S3 Bucket 的儲存空間將會快速膨脹，造成 儲存成本增加 與 管...
前言 今天是中秋連假第一天，依然要繼續修改未完成的頁面。 今天繼續將 prompt.html 頁面樣式，並且整合先前 index.html 的 Navigat...
一、前言 檔案分享是會員系統的核心需求之一，但如果直接公開 S3 檔案連結，將導致任何人都能存取，存在嚴重的安全風險。因此我們需要設計一套「限時連結」與「權限...
一、前言 使用者上傳檔案到雲端後，若沒有進一步的處理，會帶來安全風險與儲存成本壓力。透過自動化流程，我們可以在檔案進入 S3 後即時進行 壓縮（節省儲存空間與...
一、前言 在系統中，檔案上傳後往往需要提供使用者下載或預覽功能。若直接將 S3 Bucket 設為公開，會導致資料外洩與濫用風險；若透過後端 Proxy 回傳...
前言 使用者註冊完後忘記密碼，需要進行重設的功能開發。 設計 Verify-vlog-email Lambda Function / verify-email...
一、前言 在 Web 或 App 系統中，常見使用者需要上傳檔案（例如：大頭照、報表、附件）。若直接開放 S3 Public Write，會導致嚴重安全風險；...
前情提要 作為 【Day 4】 使用 Elemental MediaConvert 轉檔 的功能實踐，本篇將說明串接 API Gateway 達到透過 Web...
前情提要 終於放假可以喘口氣了，持續挖坑與填坑！ 設計 Delete 機制 新增一個 Lambda Function import os, json, bo...
前情提要 經過 Day 12 的 LINE Login + AWS Cognito 認證系統建立，我們的健身房 SaaS 已經可以讓用戶透過 LINE 帳號快速...
前情提要 因為這兩週工作繁忙所以一直還沒更新架構圖，先來盤點一下已經實作的 API 和後續想到需要進行的 API。 今天在利用已經做好的網頁進行上傳備份手機影片...
前言 影片有沒有字幕，其實會影響到觀眾的閱覽體驗。 然而對於影音創作者來說，上字幕變成一個吃力不討好的工作 沒上字幕，觀眾可能直接不看影片。 透過傳統方法上...
前情提要 昨天我們建立了 AWS 基礎設施，今天我們要實作現代化的前後端分離部署架構。相較於傳統的容器化前端，我們將採用更優化的方案：S3 Static Web...
一、前言 網站如果只放在單一 S3 Bucket，可能在跨區存取時會遇到延遲、缺乏 CDN 快取，且沒有 HTTPS 預設支援。 透過 CloudFront...
前言 要實現串流服務，勢必有大量影音資料要丟出去給使用者。 如果老老實實的都從 EC2 往外丟，除了延遲高，傳輸費也高。 透過 Amazon S3 靜態網站託管...
前言 我們前面花了四篇，穿插了 S3 Bucket 如何收取資料。 但是要串預簽上傳網址的時候，會有點麻煩。 所以前一回用 EC2 來架 NginX；這東西要自...
進度說明 // TODO LIST 1. 製作 iOS shortcut 開啟相簿，選影片，叫瀏覽器出來 PUT 到指定網址 2. 用較為輕鬆的方式取號 Pre...
前言 接續昨天的透過 IAM 取得 token 之後，今天就要來 create S3 Bucket，接著使用 Airflow 的 S3Hook 來存取 AWS...
前言 接下來幾天，會說明 Airflow 一些額外功能，包含 S3 連接方式、Custom XCom 解決 task 之間的資料傳遞、Slack 通知設定，主要...
為了可以更有效率的節省成本，可以透過設定S3 object的一個或多個lifecycle rule，讓存放在S3的object可以自動被刪除，或轉移到更便宜的儲...
iThome鐵人賽
看影片追技術
看更多
Judy Huang
arvinyang
二坪山小弱砲
Ducky
Moscle.dev
Shawn